Thời kỳ đi kháng chiến, nhạc sĩ Hoàng Thi Thơ đã có quan hệ tình cảm với Trương Tân Nhân, một người bạn học cùng trường.[9] Về sau khi ông bỏ kháng chiến về thành và không thể trở lại, bà Tân Nhân lúc đó đã mang thai. Sau hiệp định Genève, bà ở lại miền Bắc và tiếp tục sự nghiệp ca hát. Người con trai của hai người mang tên Lê Khánh Hoài (lấy theo họ người chồng sau của bà), hiện đang hoạt động trong lĩnh vực kịch nghệ và điện ảnh tại Thành phố Hồ Chí Minh.[1].

Tháng 9 năm 1957, ông lập gia đình với ca sĩ Thúy Nga (con của Nhiếp ảnh gia Nguyễn Giao) và có bốn người con: 3 trai 1 gái. Trong đó, người con trưởng là Hoàng Thi Thi, vừa là nhạc sĩ vừa là kỹ sư. Ngoài ra ông còn một người con nuôi là Hoàng Thi Thao (1945–2019), người cháu gọi ông bằng chú và cũng là người theo sát chân ông trong nhiều năm hoạt động văn nghệ.[1]

Ngoài ra ông còn có một người cháu gọi bằng ông bằng chú ruột đó là tỷ phú Hoàng Kiều (con trai của ông Hoàng Hữu Nam).